Vùng Hiệp Hòa - Lạng Giang lúc đó được những người Cộng sản xây dựng thành một vùng căn cứ nằm ngoài tầm kiểm soát của người Pháp. Khi về đây, Hoàng Văn Xiêm được bố trí tham dự lớp huấn luyện quân sự ngắn ngày và được Hoàng Quốc Việt, Trần Đăng Ninh giảng về chính trị. Tháng 3 năm 1941, ông được cử lên Bắc Sơn (Lạng Sơn) để tăng cường cho Đội du kích Bắc Sơn và tới tháng 4 năm 1941, ông được phân công làm chỉ huy một tiểu đội du kích Bắc Sơn.

Ngày 19 tháng 5 năm 1941, Mặt trận Việt Nam độc lập đồng minh, gọi tắt là Việt Minh, được thành lập. Đội du kích Bắc Sơn được đổi tên thành Trung đội Cứu quốc quân thứ nhất. Để tăng cường lực lượng chỉ huy, tháng 9 năm 1941, ông lấy bí danh là Quốc Bình cùng với các ông Hoàng Minh Thảo, Đàm Quang Trung, Vũ Lập được tổ chức cử đi học tại trường Quân sự Liễu Châu, Trung Quốc. Thời gian học tập ở trường, ông cử làm trưởng đoàn học viên Việt Nam tại đây.

Cuối năm 1943, ông đã trực tiếp gặp nhà cách mạng Hồ Chí Minh, bấy giờ mới vừa được Tưởng Giới Thạch trả lại tự do. Cuối tháng 9 năm 1944, Hồ Chí Minh trở về Việt Nam, sau đó một tháng, Hoàng Văn Xiêm cũng về nước với bí danh mới là Hoàng Văn Thái, một cái tên sẽ theo ông đến tận cuối đời.

Bấy giờ, các lãnh đạo Việt Minh quyết định thành lập một lực lượng vũ trang được tổ chức chặt chẽ và hiệu quả hơn. Một chỉ thị thành lập đã hình thành đội Việt Nam Tuyên truyền Giải phóng quân, với 34 đội viên là các trung đội trưởng, tiểu đội trưởng hoặc đội viên được chọn lọc từ các đơn vị Cứu quốc quân và các đội du kích đơn lẻ khác của Việt Minh mà Hoàng Văn Thái là một trong số đó. Ông được phân công phụ trách tình báo và kế hoạch tác chiến. Tại buổi lễ thành lập Đội Việt Nam Tuyên truyền Giải phóng quân ngày 22 tháng 12 năm 1944, ông là người cầm lá cờ mà sau này trở thành Quốc kỳ Việt Nam Dân chủ Cộng hòa.

Lúc mới thành lập, ông được phân công phụ trách công tác tuyên truyền và binh vận của đội. Trong trận đồn Nà Ngần, ông là người cắm cờ sau chiến thắng.

Sau Trận Phai Khắt, Nà Ngần, uy tín của đội lên cao, tăng thêm nhiều đội viên và phát triển lên hơn 100 người. Ông được giao công tác trinh sát và lập kế hoạch tác chiến chuẩn bị đánh đồn Đồng Mu, châu Bảo Lạc (nay thuộc xã Xuân Trường,[3] huyện Bảo Lạc, Cao Bằng). Tuy nhiên, trước khi trận đánh diễn ra vào ngày 4 tháng 2 năm 1945, ông được phân công cùng một nhóm đội viên tiến về Nậm Ti (nay thuộc xã Phương Tiến, huyện Vị Xuyên, Hà Giang để xây dựng cơ sở.

Tháng 3 năm 1945, ông chỉ huy nhóm đội viên, khi đó đã phát triển lên đến hơn 100 người, tiến về xây dựng cơ sở ở Chợ Đồn (Bắc Kạn). Bấy giờ, Nhật đảo chính Pháp tại Đông Dương, lực lượng Pháp đồn trú tại đây bị tan rã và tìm cách đào thoát sang hướng Trung Quốc. Các cán bộ Việt Minh, với sự giúp đỡ của các đội viên Việt Nam Tuyên truyền Giải phóng quân, đã nhanh chóng xây dựng chính quyền mới, tổ chức huấn luyện quân sự. Sau đó, ông nhận được lệnh của ông Võ Nguyên Giáp bàn giao địa bàn cho các cán bộ Việt Minh địa phương và tiếp tục đưa các đội viên chuyển xuống Chợ Chu (Tuyên Quang), hỗ trợ các cán bộ Việt Minh tổ chức chính quyền mới cấp xã, huyện của, đồng thời huấn luyện quân sự cho lực lượng tự vệ chiến đấu và các cán bộ đoàn thể.

Tháng 4 năm 1945, Hội nghị Quân sự Bắc Kỳ quyết định sáp nhập Việt Nam tuyên truyền giải phóng quân, Cứu quốc quân và các lực lượng vũ trang khác thành Việt Nam Giải phóng quân, đồng thời cho thành lập Trường Quân chính kháng Nhật. Ngày 15 tháng 5 năm 1945, Việt Nam Giải phóng quân ra mắt dân chúng tại Chợ Chu. Đến tháng 6 năm 1945, Trường Quân chính kháng Nhật được thành lập tại Tân Trào, ông được phân công làm hiệu trưởng đầu tiên của trường, phụ trách công tác đào tạo cán bộ quân sự cho lực lượng vũ trang của Việt Nam Giải phóng quân, đặt nền móng hệ thống đào tạo cán bộ quân sự Việt Nam sau này.

Nhận chỉ thị từ Tổng bộ Việt Minh về việc giành chính quyền và mở rộng vùng kiểm soát để chuẩn bị cho Quốc dân Đại hội ở Tân Trào, ngày 13 tháng 8 năm 1945, ông chỉ huy một số đơn vị Giải phóng quân hỗ trợ Việt Minh giành chính quyền tại Lục An Châu,[4] sau đó, ngày 17 tháng 8, tiếp tục chỉ huy Giải phóng quân đánh chiếm các đồn Nhật tại tỉnh lỵ Tuyên Quang, hỗ trợ lực lượng Việt Minh giành chính quyền tại đây.

Ngày 23 tháng 8 năm 1945, Hoàng Văn Thái cùng một số đơn vị Giải phóng quân tiến về Hà Nội, bấy giờ đã nằm trong quyền kiểm soát của Việt Minh.[5] Trong buổi lễ Độc lập ngày 2 tháng 9 năm 1945, Hoàng Văn Thái cùng với các đội viên Giải phóng quân tham gia công tác giữ gìn an ninh cho buổi lễ.